흑백요리사2의 대결의 100점 점수제 방식은 의문이 있다.
만약 두 심사위원의 점수 입력 형식이 단순히 0~100점 입력 방식이라면 더욱 그렇다.
85점과 86점의 차이를 어떻게 가늠할 수 있을까?
한 집단에서 단 한 번에 랜덤 추출 하기 보다, 그 집단을 n집단으로 랜덤 배치 한 후 각각 랜덤 추출을 시행하여 다시 모으는 것이 분산이 작아서 정확하다는 이론이 있다. 지금 AI와 상담해서 찾아보니 Stratified Sampling 이라고 한다.
단 두 사람의 100점제 평가는 그런 기법과 비교해서 운이 좌우할 여지가 있다. 평가자가 100명(전문가 집단의..)이라면 이야기가 다르나 두 명이라서 그렇다.
물론 내부적으로 과학적인 방법을 시행했을 수 있다.
예를 들어 평가항목을 n개로 나눈 후 점수를 좋다/나쁘다/중립으로 표현하고 총합을 100점으로 환산하는 방법이다. 그런데 이 n개 항목의 개수가 적으면 역시 운의 요소가 커지고 n항목의 개수가 많으면 심사자 피로가 개입한다.
심사자 피로와 심리가 평가에 영향을 미친다는 연구나 글은 종종 볼 수 있다.
예컨데, 최초 요리 제출자의 임성근의 점수는 앵커 효과를 발생시킨다. 그리고 두 번째 요리괴물의 최고 점수 획득은 역시 최고 점수에 대한 앵커 효과를 발생시킨다. 이제 두 심사자는 두 앵커의 편향을 고려하면서 둘 보다 좋은가 나쁜가를 따져가며 점수를 결정하는데 어쨌거나 편향/피로/운이 개입할 여지가 있다.
나는 면접관으로 들어가거나 이력서 검토할 때 그렇게 했다. 최소 두 번은 봐야 한다. 두 번째 검토 때는 이력서 순서를 뒤섞어야 편향에서 좀 더 자유롭다. 어디 다닐때는 이력서를 책으로 제본해서 받았는데 그건 순서가 정해져 있어서 편향에서 자유롭지 못하다.
즉, 이력서 검토에서도 배깅/ 부스팅/ 랜덤포레스트/ 앙상블 이론 느낌적 느낌의 노력을 하면 아무래도 결과가 낫다.
그리고 저는 이제 화석이 되어 불러주는 곳이 없습니다. 지인이라고 hoxy..? 물어보면 그들은 답합니다.
"우리회사 얼굴 봐..."